https://arxiv.org/abs/2207.02098

We demonstrate that grouping tasks according to the Chomsky hierarchy allows us to forecast whether certain architectures will be able to generalize to out-of-distribution inputs. This includes negative results where even extensive amounts of data and ( Read more... )

https://openreview.net/pdf?id=Hrtbm8u0RXu

Обещают O(N2/3) параметров для запоминания N пар "вход-выход." Заявленное условие - должно существовать отношение Δ=dmax/dmin, то есть, отношение между максимальным и минимальным расстояниями между входными отсчётами должно быть ( Read more... )

https://journal.hexmos.com/training-data-poisoning/Read more... )

Повторные вычисления над одним и тем же входом могут быть рассмотрены, как поиск по лучу, выполненный на нейросетях, в отличии от поиска по лучу, выполненного алгоритмически поверх работы нейросети.

Преобразование Барроуза-Уиллера, реализованное в bzip/bzip2, использует в качестве модели энтропии "move to front" (я её назвал "в голову!" см. заголовок), когда мы считаем не частоту самих символов, а частоту смещений в некоей очереди, в которой в голову мы помещаем последний закодированный нами символ. Очередь "абв", кодируем "в" - используем ( Read more... )

Пытаюсь переварить LSTM.

У них там и такой "ключ," и сякой "ключ," и такое преобразование, и сякое преобразование.

Есть ключи сброса, есть ключи забывания, наверное, ещё какие есть.

А почему не стали использовать softmax?

Вот у нас есть предыдущее состояние S и текущее преобразованное состояние s. Давайте вычислим S*p1 + s*p2 + 0*p3, и ( Read more... )

https://thesz.livejournal.com/1613714.html - про то, что нейросетки могут быть упрощены до приближения полиномами ( Read more... )

Или neural networks are essentially polynomial regression.

Так вот, xTAx + bTx+c=y может быть представлена, как линейная задача наименьших квадратов или, в случае линейной регрессии, как задача наименьших квадратов с перевзвешиванием.

Поскольку у A уже размерность NxN, то размерность такой задачи это O(N4), где N - размер входа ( Read more... )

https://ru.wikipedia.org/wiki/%D0%97%D0%B0%D0%BA%D0%BE%D0%BD_%D0%A6%D0%B8%D0%BF%D1%84%D0%B0

Вкратце, по этому закону, для упорядоченных по количеству появлений слов, отношение количества появлений i-го слова Ni к количеству ( Read more... )

Они из шума создают смысл.

Так что это даже не уровень подсознания.